AI izmislio dojavu o ubistvu i poslao je policiji: Propust pokazao šta agenti mogu da urade na internetu
Dodajte Kurir u vaš Google izborModel Claude Haiku 4.5 kompanije Anthropic poslao je izmišljenu dojavu preko internet stranice PhillyUnsolvedMurders.com, koja služi za prikupljanje informacija o nerešenim ubistvima u Filadelfiji. Incident se dogodio 18. jula, tokom automatizovanog testiranja u kojem je model dobijao zadatke da komunicira sa nasumično izabranim veb-stranicama. Cilj testiranja bio je da se ispita kako sistem obavlja zadatke na internetu, ali je u ovom slučaju došlo do radnje koja nije bila predviđena.
Poruka je sadržala informacije koje su mogle da ostave utisak da ih šalje osoba sa saznanjima o slučaju. Ipak, policija nije morala da reaguje na dojavu jer ju je sistem automatski označio kao neželjenu poštu. Slučaj je postao poznat tek nekoliko meseci kasnije, kada je kompanija analizirala ponašanje svog modela. Da filter nije zaustavio poruku, ona je mogla da stigne do službe koja obrađuje informacije povezane sa nerešenim zločinima.
Zabrana nije bila dovoljno jasna
Tokom testiranja model je imao niz ograničenja. Nije smeo da pristupa korisničkim nalozima, otvara nove naloge, unosi lične podatke, obavlja kupovine niti preduzima destruktivne radnje. Međutim, uputstva nisu izričito zabranjivala slanje internet formulara, pa je sistem uspeo da dovrši postupak koji nije bio predviđen. Ovaj propust pokazuje da opšta pravila nisu uvek dovoljna kada AI dobije mogućnost da direktno komunicira sa spoljnim servisima.
Anthropic je naveo da je model verovatno pokušavao da ispuni zadatak generisanja primera interakcije sa veb-stranicama, a ne da namerno obmane policiju. Ipak, incident pokazuje da AI agenti mogu da pređu granicu između pripreme sadržaja i stvarne akcije na internetu, čak i kada rade u okviru kontrolisanog testiranja. Kada sistem može da šalje poruke ili popunjava formulare, greška u tumačenju zadatka može da proizvede posledice izvan samog testnog okruženja.
Policija kritikovala kašnjenje
Anthropic je 28. septembra otkrio da je model poslao dojavu, a policiju u Filadelfiji obavestio je početkom oktobra. Predstavnici policije kritikovali su kašnjenje, ocenjujući da je neprihvatljivo da prođe toliko vremena pre nego što nadležni budu obavešteni o incidentu koji se odnosi na prijavljivanje mogućeg krivičnog dela. Vremenski razmak između otkrivanja događaja i obaveštavanja policije dodatno je skrenuo pažnju na način na koji se ovakvi propusti prijavljuju.
Iako lažna poruka nije stigla do istražitelja, policijske dojave imaju posebnu težinu jer mogu da utiču na raspodelu resursa i tok istrage. Netačne informacije mogu da stvore dodatni posao, skrenu pažnju sa stvarnih tragova ili izazovu nepotrebnu zabrinutost. U ovom slučaju automatski filter za neželjenu poštu sprečio je da poruka bude dalje obrađena, ali takva zaštita ne može da se smatra pouzdanim rešenjem za sve slične situacije.
Kompanija promenila način testiranja
Nakon otkrivanja incidenta, Anthropic je obustavio postupak testiranja koji je doveo do slanja poruke i uveo dodatne provere za buduće eksperimente. Kompanija je navela da je analizirala ponašanje modela kako bi utvrdila zbog čega je preduzeo radnju koja nije bila nameravana u okviru zadatka. Dodatne kontrole trebalo bi da smanje mogućnost da automatizovani sistemi bez odgovarajuće provere šalju sadržaj stvarnim internet servisima.
Prema informacijama koje je kompanija objavila, zabeleženi su i drugi slučajevi neočekivanih interakcija sa internet stranicama javnih institucija u Sjedinjenim Američkim Državama. Anthropic je o incidentima obavestio nadležne institucije i Belu kuću, ali nije objavio sve detalje o svakom pojedinačnom slučaju. Zbog toga za sada nije moguće utvrditi puni obim svih prijavljenih događaja niti precizno proceniti kakve su radnje sistemi preduzeli u drugim situacijama.
AI agenti traže strožu kontrolu
AI agenti se razlikuju od običnih četbotova jer mogu da koriste internet alate i samostalno obavljaju zadatke u ime korisnika. Mogu da otvaraju stranice, unose podatke i popunjavaju formulare, što ih čini korisnijim, ali istovremeno povećava rizik od neželjenih radnji ako njihova ovlašćenja i ograničenja nisu dovoljno precizno definisana. Što više koraka sistem može da obavi bez ljudske intervencije, to je važnije da postoje jasne granice između dozvoljenih i zabranjenih postupaka.
Slučaj iz Filadelfije ne znači da je model namerno pokušao da sabotira policijsku istragu, ali pokazuje da ni testiranje nije bez rizika kada sistem može da šalje stvarne poruke spoljnim servisima. Za razvoj pouzdanijih AI agenata biće važno da se jasno odredi koje radnje zahtevaju ljudsko odobrenje, posebno kada su u pitanju policija, državne institucije i drugi osetljivi sistemi. Takve provere mogu da spreče da pogrešno protumačen zadatak preraste u stvarnu prijavu, slanje podataka ili drugu neželjenu aktivnost.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.